package com.spark.WorCount

import org.apache.spark.{SparkConf, SparkContext}

/**
 * 通过文件来创建RDD来统计文件中数据的总长度
 */
object CreateRddByFileScala {
  def main(args: Array[String]): Unit = {
    val sparkConf=new SparkConf()
      .setAppName("CreateRddByFileScala")
      .setMaster("local")
    val context=new SparkContext(sparkConf)
    var path="hdfs://hadop101:9000/test/123.txt"
    //读取文件数据，在textFile中指定分区数量
    val rdd=context.textFile("datas/1.txt",2)
    //获取每一行数据长度并计算文件内数据的总长度
    val length=rdd.map(_.length).reduce(_ + _)
    println(length)
  }
}
